Tháng 6 năm 1959, trong Hội nghị Lư Sơn, Bành Đức Hoài viết thư riêng cho Mao Trạch Đông, chân thành đề cập đến thất bại, tình cảnh tiêu điều của nền kinh tế khi thực hiện Chính sách Đại nhảy vọt. Bức thư này đã biến ông trở thành tội đồ trong Cách mạng văn hóa Trung Quốc sau này. Mao Trạch Đông, tại Hội nghị Lư Sơn, đã quyết định công khai bức thư của Bành Đức Hoài và quy kết ông là tiêu cực. Với quyền lực của Mao Trạch Đông, toàn bộ Bộ Chính trị và Trung ương Đảng Cộng sản Trung Quốc đứng về phía Mao Trạch Đông hoặc lặng im. Gần như tất cả đả kích Bành Đức Hoài mà Lâm Bưu là người đứng đầu.

Ông bị phê phán nặng nề năm 1959 bởi những nhận xét về chính sách Đại nhảy vọt mà Mao Trạch Đông cho là không chấp nhận được. Chủ tịch Mao đồng ý rằng có một số sai sót nhưng nhìn chung là có tiến bộ tích cực. Bành Đức Hoài được gợi ý viết bản tự phê bình. Mao Trạch Đông, không còn nghi ngờ gì nữa, đối xử với ông như với kẻ thù. Nguyên soái bị đình chỉ mọi chức vụ, bị theo dõi và quản chế tại nhà riêng tại Thành Đô, Tứ Xuyên. Người thay thế ông ở cương vị Bộ trưởng Quốc phòng là Lâm Bưu. Thực tế, Bành Đức Hoài bị lưu đày, bị xa lánh trong suốt 16 năm còn lại của cuộc đời.

Còn những nguyên nhân sâu sắc khác dẫn đến sự thất sủng năm 1959. Dưới sự điều hành của Bành Nguyên soái, quân đội phát triển theo chiều hướng chính quy, chuyên nghiệp và giảm tính chính trị. Những thay đổi này bị đảo ngược khi Lâm Bưu nắm quyền. Mặt khác Bành Đức Hoài có những dấu hiệu không đồng ý với việc sút giảm quan hệ thân thiện với Liên Xô. Tuy vậy, năm 1959, uy tín của Mao Trạch Đông dù vẫn bao trùm nhưng đã xuống thấp chưa từng thấy, việc phế truất Bành Đức Hoài không thể thực hiện được nếu những người khác không nghi ngờ ông.